home *** CD-ROM | disk | FTP | other *** search
/ CD ROM Paradise Collection 4 / CD ROM Paradise Collection 4 1995 Nov.iso / science / neumap3.zip / NUMP.ZP / MLMP.HLP < prev    next >
Text File  |  1994-09-06  |  2KB  |  69 lines
  1. Outline
  2.  
  3. 1. Multilayer Perceptron (MLP) Options
  4. 2. Error Functions
  5.  
  6.  
  7. 1. Multilayer Perceptron (MLP) Options
  8.  
  9. a. Train an MLP using backpropagation (BP). Batching, which 
  10.    denotes the accumulation of weight changes over portions of the 
  11.    training set before they are used, is an option. The learning 
  12.    factor changes adaptively. 
  13.  
  14. b. Fast training of MLP networks. Trains networks one or two 
  15.    orders of magnitude faster than BP.
  16.  
  17. c. Analyze and prune trained MLPs from BP or fast training.
  18.    Produces weight and network structure files for the pruned network,
  19.    which can be saved to disk, in the non-demo version.
  20.  
  21. d. Process data using a trained MLP. Data may or may not include 
  22.    desired outputs.
  23.  
  24. e. Create MLP subroutine. Given a network structure file and a 
  25.    weight file, creates an MLP subroutine in Fortran with a parameter 
  26.    list that includes only the input array and output array.
  27.  
  28. f. Create formatted weight file. Given a network structure file and a 
  29.    weight file, creates a formatted weight file that clearly shows 
  30.    the different connections and their weights and thresholds.
  31.  
  32.  
  33. 2. Error Functions
  34.  
  35.  a. The error function that is being minimized during backpropagation
  36.     training and fast training is
  37.  
  38.                    Nout      
  39.     MSE = (1/Npat) SUM MSE(k)     where
  40.                    k=1  
  41.  
  42.               Npat              2
  43.     MSE(k) =  SUM [ Tpk - Opk ]
  44.               p=1  
  45.  
  46.     where Npat is the number of training patterns, Nout is the number 
  47.     of network output nodes, Tpk is the desired output for the pth
  48.     training pattern and the kth output, and Opk is the actual output
  49.     for the pth training pattern and the kth output. MSE is printed
  50.     for each iteration.
  51.  
  52.  b. Additional errors printed out are defined as follows.
  53.     The rms error of the kth output, RMS(k), is SQRT( MSE(k)/Npat ),
  54.     where SQRT means square root.
  55.  
  56.     The kth output's Relative RMS Error is
  57.  
  58.     R(k) = SQRT( MSE(k)/E(k) ) where
  59.  
  60.             Npat           2
  61.     E(k) =  SUM [ Opk-Mk ]      and
  62.             p=1  
  63.  
  64.                   Npat 
  65.     Mk = (1/Npat) SUM  Opk 
  66.                   p=1  
  67.  
  68.     The kth output's Error Variance is MSE(k)/Npat.
  69.